Embedding漂移(Embedding Drift)
根本原因:优化景观(Optimization Landscape)的破坏。模型的训练过程可以看作是在一个复杂的、高维的“误差曲面”上寻找最低点(最优点)。嵌入层作为模型的第一层,其输出定义了后续所有层所处理数据的初始表示空间。具体过程:不稳定的梯度:如果嵌入向
drift 漂移 embedding embeddingdr 2025-09-21 23:10 2
根本原因:优化景观(Optimization Landscape)的破坏。模型的训练过程可以看作是在一个复杂的、高维的“误差曲面”上寻找最低点(最优点)。嵌入层作为模型的第一层,其输出定义了后续所有层所处理数据的初始表示空间。具体过程:不稳定的梯度:如果嵌入向
drift 漂移 embedding embeddingdr 2025-09-21 23:10 2
几年前,我写过一篇关于 embedding (嵌入) 的论文。我当时写道,200-300 维的 embedding 在业界相当普遍,并且在训练过程中增加更多维度对于下游任务(如分类、推荐、语义搜索、主题建模等)的效果存在边际递减。
几年前,我写过一篇关于 embedding (嵌入) 的论文。我当时写道,200-300 维的 embedding 在业界相当普遍,并且在训练过程中增加更多维度对于下游任务(如分类、推荐、语义搜索、主题建模等)的效果存在边际递减。
api transformer bert embedding 2025-09-02 16:34 5
在大语言模型(LLM)主导的生成式 AI 浪潮中,检索增强生成(Retrieval-Augmented Generation,RAG)凭借 “外部知识检索 + 模型生成” 的模式,解决了 LLM “知识过时”“幻觉输出” 等关键问题,成为企业落地 AI 应用的
rag embedding embedding概念 rag核 2025-09-01 10:45 5
各位AI爱好者、开发者、产品经理、苦逼运维、甚至是“我就是想玩玩AI”的小伙伴们,大家好!今天我要给大家安利一个能让你从“AI部署小白”秒变“嵌入/重排老司机”的神器——AntSK-PyApi。如果你还在为本地部署Embedding(文本向量化)或Rerank
模力方舟携手天数智芯完成了该系列所有六款模型的本土算力适配,现已正式上线模力方舟,欢迎使用体验:https://ai.gitee.com/serverless-api/packages/1496
qwen3 embedding qwen3embedding 2025-06-09 14:34 14
截至【2025-3-17】,较好的嵌入模型如图所示(详见技术博客:https://wqw547243068.GitHub.io/emb)。
模型 qwen3 embedding模型 embedding 2025-06-07 23:30 15